ControlNet 今日上线压轴新功能：猜测模式/非提示模式

自从 ControlNet 的价值被大家看到之后，ControlNet 的作者就神隐了。原来是更新功能去了。在这篇文章发布时仍然在更新中……

ControlNet 官方github地址：https://github.com/lllyasviel/ControlNet

就在几个小时前  ControlNet 的github页面更新了最新的功能：猜测模式。这个模式支持大家可以在不输入提示词的状态下使用之前的线稿之类的底图，直接生成图片。

作者在文档里说到：这是 ControlNet 里难度最大的一环。

你可以在之前所有的八个模型中使用猜测模式如深度图、边缘图、涂鸦等，无需输入任何提示词。这个功能的难点在于在没有提示词的情况下，只能靠 ControlNet 编码器 “猜测” 控制图中的内容。这需要识别的非常准确才行。

下面是github上作者给出的一些案例：

下面这个是提示图本身非常完整的情况下，提取深度图的生成效果还不错。

这个也是在提示图非常完整的前提下提取边缘，再生成的图片效果。

简单的物体线稿表现的也挺好。

由于没有提示，ControlNet编码器将“猜测”控制图中的内容。有时候猜测结果真的很有趣。由于扩散算法本质上可以给出多个结果，ControlNet似乎能够给出多个猜测，如下所示：

在没有提示的情况下，当控制强度相对较低时，HED 似乎擅长生成看起来像绘画的图像：

如下图所示，由于非提示模式非常困难，即使是非常深的ControlNet也可能会有故障案例。（在下面的示例中，只有右下角的那个看起来不错。）

除此之外作者还列出了ControlNet 的关联资源 list：

加入了SD的webui的github：https://github.com/Mikubill/sd-webui-controlnet

部署在huggingface上的简略版：https://huggingface.co/spaces/hysts/ControlNet

65种不同模式的colab列表：https://github.com/camenduru/controlnet-colab

支持视频输入的ControlNet Video（这个比较有趣）：https://huggingface.co/spaces/fffiloni/ControlNet-Video 

还有一些其他的尝试：

https://github.com/AUTOMATIC1111/stable-diffusion-webui/discussions/7784

https://huggingface.co/spaces/hysts/ControlNet-with-other-models

https://huggingface.co/spaces/RamAnanth1/ControlNet

这里我补充一个作者没有提到，但是我觉得很好用webui的插件：OpenPose Editor

可以直接通过编辑人物骨骼来控制画面。这个插件很好的弥补了通过图片提取人物骨骼不能修改的问题，并且它可以手动添加多个人物。

https://github.com/fkunn1326/openpose-editor

这个是使用方法的视频：

下面几张图是我尝试的案例：